MoE 推理工程深层实战：专家并行、负载均衡、Expert Offloading 与生产级 Serving
从生产环境出发，深入拆解 MoE 推理系统中最棘手的工程挑战——专家并行策略、动态负载均衡、Expert Offloading 机制、以及面向请求调度的完整 Serving 架构。涵盖 DeepSeek-V3 的 256 专家路由机制、三级 Offloading 策略、Expert Affinity Batch Scheduling 等核心工程实践。
投稿
微信公众账号
微信扫一扫加关注
顶部